La dernière trouvaille de l’intelligence artificielle sait tout faire, ou presque. Ce robot écrit de la poésie, traduit, calcule, code des programmes informatiques, entretient des conversations en ligne, corrige des textes, rédige des tribunes…

Son nom ? GPT-3, pour Transformateur génératif pré-entraîné, troisième du nom. Il est apparu en mai dernier et est l’œuvre de l’entreprise américaine OpenAI, née en 2015, cofondée par Elon Musk et cofinancée par Microsoft.

Ce cerveau sachant parfaitement écrire est surtout le plus gros réseau de neurones artificiels jamais construit. Il possède 175 milliards de paramètres (équivalents au nombre de ses « neurones » et de la force de leurs interconnections), soit cent fois plus que son prédécesseur GPT-2 sorti en février 2019 et dix fois plus que les plus gros « concurrents ».

Pour apprendre à écrire, GPT-3 a lu près de 500 milliards de mots, l’équivalent de plus de 150 fois toute l’encyclopédie Wikipedia (dans toutes les langues), ou de plus de 2000 ans de lecture du quotidien Le Monde…

Il a été programmé sur l’un des dix plus puissants ordinateurs du monde, propriété de Microsoft, doté d’environ 10 000 cartes graphiques, presque dix fois plus que le plus gros ordinateur de la recherche publique française, le supercalculateur Jean-Zay.

Sa consommation électrique est cent fois plus grande que pour GPT-2. Une équipe de l’université du Massachusetts, à Amherst, estimait en 2019 que la mise au point d’un seul des processeurs de GPT-3 dégage autant d’équivalent carbone qu’un vol au-dessus des Etats-Unis......

GPT-3 appartient à la grande famille de l’intelligence artificielle par apprentissage automatique et à la sous-catégorie des réseaux de neurones profonds, c’est-à-dire des fonctions mathématiques dont les paramètres sont calculés pour produire la bonne réponse à partir de données d’entraînement. En 2012, ces modèles surpassaient leurs prédécesseurs à un jeu de reconnaissance d’images. En 2016, ils battaient un champion du monde de Go, puis de Poker ou de jeux vidéo…

La technique peut servir aussi pour une seule langue, le contexte aidant à la compréhension générale d’un mot ou d’une phrase. Google, toujours lui, a alors eu l’idée d’une méthode d’apprentissage originale, ne nécessitant pas l’aide des humains, contrairement au classement d’images où des petites mains doivent annoter les photos pour aider les machines. Cela consiste à apprendre à trouver les mots manquant dans des phrases. Ainsi naît BERT, fin 2018, suivi chez d’autres équipes, notamment françaises, de CamemBERT, FlauBERT, RoBERT…

OpenAI adopte en revanche une autre technique d’entraînement. Le réseau de neurones apprend à deviner le mot qui suit dans une phrase. Et cela marche, à condition de faire ingurgiter toute une littérature, puisée dans Wikipedia, mais surtout dans d’énormes bases de données de collecte massive de pages Web. « Les tâches d’entraînement ont l’air artificielles, voire absurdes, et loin de la manière dont on apprend à parler, mais ça marche. C’est quand même fabuleux », salue François-Régis Chaumartin, coauteur du livre Le Traitement automatique des langues (Dunod, février 2020, 320 pages, 33 euros).

« Des performances sont incroyables, mais la qualité est imprévisible. GPT-3 peut échouer sur une tâche triviale sans que l’on sache pourquoi », note aussi François Yvon.

« Cela se rapproche du nombre de connexions de notre cerveau mais on ne peut pas parler d’intelligence. On arrive à la simuler, sans vraiment être intelligent », estime Laurent Besacier.